Anak kepada William G. Andes,[1] Andes telah dilahirkan di Ocean City, New Jersey. Ketika berusia 12 tahun, beliau telah muncul menerusi radio.[2]

Keluarga beliau berpindah ke Upper Darby, Pennsylvania, di Philadelphia.

Beliau telah memasuki Sekolah St Edward, Oxford dan bergraduat dari Universiti Temple di Philadelphia,[1] di mana beliau menjadi ahli fraterniti Sigma Pi,[3] pada tahun 1943 dengan sarjana muda dalam pendidikan. Ketika di Temple, beliau tidak pernah terbabit dengan program teater universiti, tetapi menghabiskan masanya sebagai joki cakera untuk stesen radio.[3][4] Selepas bergraduan dari Temple, beliau belajar vokal di Philadelphia Conservatory of Music. Beliau terkenal dengan bariton.